Cao Vĩ sinh năm 557, khi đó cha Cao Đam của ông đang có tước hiệu Trường Quảng vương, phụng sự cho hoàng huynh là Văn Tuyên Đế. Mẹ của Cao Vĩ là Hồ vương phi- chính thất của Cao Đam. Cao Vĩ là con trai đầu tiên của Hồ vương phi, song con trai cả của Cao Đam là Cao Xước (高綽) với Lý phu nhân. Tuy nhiên, do có mâu thân là chính thất, ông được Cao Đam tuyên bố là vương thế tử kế vị.

Năm 561, một hoàng huynh khác của Cao Đam là Hiếu Chiêu Đế qua đời, truyền lại ngôi vị cho Cao Đam, tức Vũ Thành Đế. Năm 562, Vũ Thành Đế phong Hồ vương phi làm hoàng hậu và phong Cao Vĩ làm hoàng thái tử. Trong khi đang làm hoàng thái tử, Cao Vĩ đã kết hôn với con gái của đại tướng Hộc Luật Quang làm thái tử phi.

Năm 565, do có các dấu hiệu chiêm tinh cho thấy rằng ngôi vị hoàng đế cần phải thay đổi, và cũng do muốn lấy lòng Hồ hoàng hậu và Cao Vĩ, các sủng thần của Vũ Thành Đế là Hòa Sĩ Khai (和士開) và Tổ Thỉnh (祖珽) đã đề xuất Vũ Thành Đế nên tránh điềm xấu này bằng cách truyền ngôi cho Cao Vĩ. Vũ Thành Đế chấp thuận, và Cao Vĩ đã trở thành hoàng đế khi mới được tám tuổi. Tuy nhiên, Vũ Thành Đế trở thành Thái thượng hoàng và vẫn nắm quyền lực thực tế. Vũ Thành Đế phong Hộc Luật thái tử phi làm hoàng hậu.